Despite their widespread adoption, neural conversation models have yet to exhibit natural chat capabilities with humans. In this research, we examine user utterances as causes and generated responses as effects, recognizing that changes in a cause should produce a different effect. To further explore this concept, we have compiled and expanded upon a new dataset called CausalDialogue through crowd-sourcing. This dataset includes multiple cause-effect pairs within a directed acyclic graph (DAG) structure. Our analysis reveals that traditional loss functions can struggle to effectively incorporate the DAG structure, leading us to propose a causality-enhanced method called Exponential Maximum Average Treatment Effect (ExMATE) to enhance the impact of causality at the utterance level in training neural conversation models. To evaluate the effectiveness of this approach, we have built a comprehensive benchmark using the CausalDialogue dataset leveraging large-scale pre-trained language models, and have assessed the results through both human and automatic evaluation metrics for coherence, diversity, and agility. Our findings show that current techniques are still unable to effectively address conversational DAGs, and that the ExMATE method can improve the diversity and agility of conventional loss functions while maintaining coherence.
translated by 谷歌翻译
创建可以对对话做出适当反应又理解复杂人类语言倾向和社会线索的代理人在NLP社区中一直是一项艰巨的挑战。最近的研究支柱围绕着对话中的情感识别(ERC);情感识别的子场地,重点是包含两个或更多话语的对话或对话。在这项工作中,我们探讨了一种ERC的方法,该方法利用了对话中神经嵌入的使用以及复杂的结构。我们在称为概率软逻辑(PSL)的框架中实现了我们的方法,该框架是一种使用一阶逻辑规则的声明的模板语言,该语言与数据结合时,定义了特定类别的图形模型。此外,PSL为将神经模型的结果纳入PSL模型提供了功能。这使我们的模型可以利用先进的神经方法,例如句子嵌入以及对话结构的逻辑推理。我们将我们的方法与最先进的纯神经ERC系统进行了比较,并将几乎提高了20%。通过这些结果,我们对DailyDialog对话数据集提供了广泛的定性和定量分析。
translated by 谷歌翻译
我们提出了神经概率软逻辑(NEUPSL),这是一种新型的神经符号(NESY)框架,将最新的象征性推理与对深神经网络的低水平感知结合在一起。为了明确建模神经和符号表示之间的边界,我们引入了基于NESY Energy模型,这是一个结合神经和符号推理的基于能量的一般模型。使用此框架,我们展示了如何无缝整合神经和符号参数学习和推理。我们进行广泛的经验评估,并表明NEUPSL优于关节推断的现有方法,并且在几乎所有设置中的差异都显着降低。
translated by 谷歌翻译
几种神经变性疾病涉及细胞DNA损伤的积累。彗星测定是估计DNA损伤程度的流行方式。目前关于使用深度学习来量化DNA损伤的文献呈现了超参数优化的实证方法,不包括不确定性估计。深度集合平均是估算不确定性的标准方法,但它需要几次网络培训迭代,这使得耗时。在这里,我们提出了一种方法来量化与统计测试的严格和综合方法相结合的DNA损伤程度,以便在统计测试的帮助下优化超参数。我们还使用架构,该架构允许更快地计算深度整体平均值,并使用传输学习执行适用于网络的统计测试。我们将我们的方法应用于具有超过1300张图片的Comet Assay数据集,并实现了$ r ^ 2 $ 0.84,其中输出包括每个预测的置信区间。所提出的架构是对当前方法的改进,因为它在统计上更严格的同时通过30倍加速了30倍的不确定性估计。
translated by 谷歌翻译